EdgeWise：通过选择性云委托将长程智能体带到边缘
🧭 边缘-云端 Agent 协作与选择性模型路由 ★ 深度解读
NVIDIA · Rutgers University
提出EdgeWise框架，让本地SLM作为主求解器，仅在关键步骤选择性委托云LLM，显著降低成本且保持性能
📌 工作参考价值（4 点）
- 在电商/广告等长链路 Agent 工作流（选品、文案生成、数据分析）中，识别关键决策步骤（类似 Write/Edit）并仅对这部分调用大模型，其余用轻量模型处理，可显著降低大模型 API 成本。
- 借鉴 self-delegation 的 RL 训练方式：用轨迹级奖励 + 步骤级 credit assignment，让 SLM 自主学习何时调用大模型，无需额外路由模型；可以用一个轻量 critic 模型提供细粒度优势信号。
- 跨模型协作时，上下文传递不要盲目压缩：全量历史性能最好但成本高，可尝试去掉轻量模型的内部推理只保留执行历史，在性能和成本间取得折中。
- 将路由判断改为连续分数 + 阈值控制，可以灵活调整大模型调用频率，适合业务中根据预算动态平衡成本与效果。
LLMRouter：LLM 路由器开发、评估与部署的统一基础设施
🧭 LLM 路由统一框架与评测基准
University of Illinois Urbana-Champaign · University of Maryland, College Park · Nanyang Technological University · Purdue University · University of Illinois Chicago
提出统一 LLM 路由五组件公式、开源模块化基础设施与 xRouteBench 基准，系统比较 16+ 路由器并给出成本与个性化关键发现
📌 工作参考价值（4 点）
- 做 LLM 路由时可将策略抽象为「编码器→打分→决策规则→学习信号」，按组件模块化开发，便于快速替换编码器（如用户/上下文 embedding）和损失函数；LLMRouter 的开源实现可当内部 Router 服务的脚手架。
- 电商/搜索推荐中不同 query/任务对模型能力和成本敏感度差异大，统一评估质量+推理成本的方式值得照搬，建议建立类似 xRouteBench 的内部基准，用候选模型池自动产出路由标签。
- 实验结论提示在严格成本预算下轻量路由器反而更优；部署 LLM Agent 或生成式推荐服务时，应把单模型强大与路由开销一起评估，不要盲目追求复杂路由器。
- 个性化路由（user-conditioned routing）增益稳定，可把用户画像/历史行为嵌入作为条件输入，让路由决策感知用户，提升推荐、广告文案生成等场景的个性化效果。
多头潜在控制：LLM Agent推理决策的统一接口
🧭 Agent 推理时控制接口与多模型路由 ★ 深度解读
University of Alberta · Huawei Technologies Canada Co., Ltd.
通过读取冻结LLM的隐状态轨迹，轻量控制头在推理时做出模型选择与干预决策，大幅降低大模型调用成本。
📌 工作参考价值（4 点）
- 在推荐系统的多模型级联（小模型→大模型）中，可借鉴 Capability Head，从生成隐状态预测小模型是否足够，仅必要时调用大模型，节省成本；特别适合基座模型频繁换代的环境，无需重训基座。
- 对于涉及工具调用的推荐 Agent（如实时查询商品价格、库存），可用 Resolution Head 决定调用时机，减少不必要的工具调用，同时避免遗漏关键调用，提升决策准确率。
- 该轻量控制层只需要冻结基座模型的隐状态，训练成本低（单卡一日内完成），适合业务快速实验和部署；训练数据混合多任务、多模态，使控制信号泛化性更强。
- 前缀预测实验表明，仅用部分生成轨迹即可提前判断模型能力，可在生成早期就决定是否升级模型，进一步降低延迟和计算浪费。